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Resumo 

Dada a importância de seus resultados, projetos, programas e serviços dirigidos a 
diferentes segmentos da sociedade têm sido acompanhados por avaliações que bus- 
cam revelar se houve o alcance da desejada qualidade. No entanto, a condução 
adequada dessas avaliações pode ser posta em cheque, isto é, verificada por meio de 
meta-avaliações. Meta-avaliação foi definida como a avaliação de uma avaliação. 
Assim, o presente artigo apresenta algumas abordagens que representam a contri- 
buição de diversos autores para a realização de meta-avaliações. São abordagens 
aplicáveis a meta-avaliações somativas e formativas. Algumas indicações de meta- 
avaliações já desenvolvidas fazem parte do artigo, que destaca as possibilidades de 
utilização da última versão publicada dos padrões internacionais de avaliação, do 
Joint Committee on Standards for Educational Evaluation. 
Palavras-chave: Meta-avaliação. Abordagens de meta-avaliação. Padrões de avaliação. 

Metaevaluation: from approaches to possibilities of 

application 

Abstract 

G/Ven the importance of their results, projects, programs and services aimed at 
different segments of society nave been accompanied by evaluations that seek 
to reveal whether the scope of the desired quality was reached. However, the 
proper conduct of these assessments can be put in check, that is verified by 
metaevaluations. Metaevaluation was defined as the evaluation of an 
evaluation. Thus, this paper presents some approaches that represent a variety 
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of contributing authors to conduct metaevaluation. Approaches are applicable 
to summative and formative metaevaluations. Some examples of 
metaevaluations already developed are part of the article, which highlights the 
possibilities of using the last version of international standards of evaluation 
published by the Joint Committee on Standards for Evaluations. 
Keywords: Metaevaluation. Metaevaluation approaches. Standards of evaluation. 

Metaevaluación: de los abordajes 
a las posibilidades de aplieaeión 
Resumen 

Dada la importância de sus resultados, proyectos, programas y servidos dirigidos a 
diferentes segmentos de la sociedad han debido estar acompanados por evaluaciones 
que tratan de revelar si se alcanzó la calidad deseada. Aunque las metaevaluaciones 
han tenido una correcta conducción, ésta puede ser puesta en jaque, es decir, se 
puede verificar por médio de metaevaluaciones. Es bueno recordar que se definió la 
metaevaluación como la evaluación de una evaluación. Este artículo presenta algunos 
abordajes que representan la contribución de diversos autores para la realización de 
metaevaluaciones. Dichos abordajes se aplican a metaevaluaciones sumativas y 
formativas. Algunas indicaciones de las metaevaluaciones ya desarrolladas integran 
este artículo, que pone de relieve las posibilidades de utilización de la última versión 
publicada de los modelos internacionales de evaluación, dei Joint Committee on 
Standards for Educational Evaluations. 

Palabras clave: Metaevaluación. Abordajes de Metaevaluación. Modelos de evaluación. 

Introdução 

Nos tempos atuais, tem havido um crescente aumento do interesse pela quali- 
dade dos resultados obtidos a partir de projetos, programas e serviços desenvolvi- 
dos nos campos social, empresarial, da educação e da saúde, no âmbito público e 
privado, dirigidos a diferentes segmentos da sociedade. Dada a importância do foco 
e das finalidades dessas áreas, tal interesse muitas vezes traz, em consequência, a 
realização de avaliações que intencionam revelar se a desejada qualidade foi alcan- 
çada. Por meio das avaliações, busca -se saber, por exemplo, se os objetivos traçados 
foram atingidos de forma adequada e eficaz, se o processo de desenvolvimento de 
projetos e programas revelou seu mérito ou qualidade intrínseca, se as ações reali- 
zadas e os serviços prestados podem ser associados a algum tipo de impacto para os 
beneficiados ou interessados. Enfim, a avaliação busca trazer à tona aspetos, dados 
e indicadores de que o objeto avaliado, seja ele um projeto, um programa ou um 
serviço, é adequado, eficiente, eficaz ou relevante, isto é, se demonstra ter algum 
valor ajuizado a partir de critérios estabelecidos pelo avaliador ou ainda sugeridos 
pelos interessados nos resultados da avaliação. 
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No entanto, a condução adequada das avaliações também pode ser posta em 
cheque, isto é, verificada por meio de meta-avaliações. Meta-avaliação foi definida 
literalmente por Scriven (1991) como a avaliação de uma avaliação. Na realidade, é 
a verificação da qualidade da própria avaliação à luz de diversos critérios, quando o 
meta-avaliador contratado ao término da avaliação focaliza o relatório produzido, 
realizando no caso, uma meta-avaliação somativa. Além dessa, Berends e Roberts 
(2003) destacaram duas razões para se proceder a uma meta-avaliação. Uma é 
possibilitar a verificação da aplicação de um código de comportamento adequado 
durante todo o estudo, ou seja, a ética adotada pelos avaliadores, se ela existe e 
como foi praticada. Outra concebe a meta-avaliação como uma prática de reflexão 
sobre todos os procedimentos utilizados na avaliação, dando oportunidade à incor- 
poração de novos conhecimentos por parte não só dos meta-avaliadores, como 
também dos avaliadores, quando tomam ciência da análise realizada. 

Os procedimentos apropriados para a realização de meta-avaliações podem va- 
riar de acordo com o tipo da avaliação realizada. A literatura apresenta algumas 
possibilidades para a condução de meta-avaliações. Talvez o marco de referência 
conceituai mais conhecido seja o produzido pelo Joint Committee on Standards 
for Educational Evaluations (1994), agora em sua 3 a edição (JOINT COMMITTEE..., 
2011). Essa obra, referência na área, oferece padrões não só para a elaboração e 
execução de avaliações, como também para a realização de meta-avaliações. 

Stufflebeam (2001, p. 185), reunindo sua própria definição de avaliação e as 
dimensões apontadas pelo Joint Committee, afirmou que 

Meta-avaliação é o processo de delinear, obter e aplicar 
informação descritiva e de julgamento — sobre a utilidade, 
a viabilidade, adequação e precisão de uma avaliação e sua 
natureza sistemática, competente conduta, integridade/ 
honestidade, respeitabilidade e responsabilidade social — 
para orientar a avaliação e divulgar publicamente seus pon- 
tos fortes e fracos. 

Existem, porém, outras formas ou abordagens que podem ser de grande utilida- 
de aos avaliadores e interessados na qualidade das avaliações realizadas. É objetivo 
de o presente artigo trazer, ao leitor interessado, algumas abordagens que repre- 
sentam a contribuição de diversos autores para a realização de meta-avaliações. 
Inclui ainda algumas indicações de meta-avaliações já desenvolvidas. 

Assim, serão apresentadas as seguintes abordagens aplicáveis a meta-avaliações 
somativas: Lista Chave de Verificação da Avaliação de Scriven (2007); critérios con- 
siderados essenciais, Abordagem da Segunda Opinião e Abordagem Mista ou Híbri- 
da, por Davidson (2005); Padrões de Avaliação (JOINT COMMITTEE..., 201 1). 
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Uma sugestão de abordagem voltada para a meta-avaliação formativa é adicio- 
nada, trazendo mais um emprego possível da metodologia da meta-avaliação. De 
acordo com Stufflebeam (2001, p.183), a meta-avaliação formativa é empregada 
durante o processo de desenvolvimento da avaliação e "auxilia avaliadores a plane- 
jar, conduzir, melhorar, interpretar e comunicar os seus estudos de avaliação". 

Nos exemplos de meta-avaliações realizadas estão os estudos de Berliner (201 0), 
Figueiró, Thulere Dias (2008), Gadelha (2010), Hedlere Torres (2009), Pereira (2010) 
e Serour (2010). 

Abordagens somativas 

Por definição, as abordagens somativas de meta-avaliação ocorrem após o tér- 
mino da avaliação, depois que todo o processo avaliativo já aconteceu. Nesse tipo de 
abordagem, o meta-avaliador lida com relatórios prontos e pode também utilizar 
bancos de dados coletados, documentação analisada, registros feitos, depoimentos, 
enfim todo o material disponível que diz respeito e retrate a avaliação desenvolvida. 
As meta-avaliações somativas, segundo Stufflebeam (2001), auxiliam os interessa- 
dos a perceber tanto os pontos fortes como as fragilidades da avaliação realizada e 
ainda o seu mérito e valor. 

A lista chave de verificação de avaliação 

A Lista Chave de Verificação de Avaliação (Key Evaluation Checklist- KEC), 
desenvolvida e periodicamente revisada por Scriven (2007), é um quadro de 
referência que pode ser tanto usado na operacionalização de avaliações de 
produtos, de unidades organizacionais como departamentos, associações, con- 
sultorias, avaliações de serviços e de práticas diversas como também em meta- 
avaliações. Na meta-avaliação, a Lista de Verificação serve para orientar cada 
ponto de verificação do relatório de avaliação, conforme se pode observar em 
seu resumo contido na Figura 1. A legenda sugerida por Davidson (2005) se 
aplica ao julgamento de cada ponto. 

A Lista Chave de Verificação de Avaliação aborda quatro componentes prin- 
cipais de uma avaliação e de seu relatório e o autor os denominou de Prelimina- 
res, Fundamentos, Sub-avaliações e Conclusões. Cada componente da Figura 1 
representa um nível para se meta-avaliar a avaliação feita. 0 primeiro, das Pre- 
liminares, busca informação que identifique a avaliação, e isto é feito por meio 
dos itens I, II e III. 0 Sumário Executivo deve trazer uma visão geral dos resul- 
tados de forma sintética, em poucas páginas, uma ou duas. De acordo com 
Scriven (2007), a finalidade dessa primeira parte ainda não é investigar, mas 
possivelmente resumir os resultados da avaliação relativos aos pontos 1 1 a 1 5 
da Lista Chave de Verificação de Avaliação. 
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Figura 1. Lista Chave de Verificação de Avaliação. 
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Fonte: Scriven (2007). 
Legenda: 

A = Atinge todos os aspetos principais deste ponto e os expressa de forma clara e concisa. 

B = Atinge a maioria dos aspetos relativos a este ponto, mas não cobre um ou dois 

deles, ou trata dos ingredientes principais, mas não é 100% claro. 

C = Trata do ponto, mas perde alguns aspetos cruciais, ou perde vários aspetos 

importantes, ou é um tanto desorganizado ou pouco claro. 

D = Tem um ou dois elementos que parecem tratar implicitamente do ponto, mas 

o tratamento é deficiente. 

E = Perde o ponto totalmente (DAVIDS0N, 2005, p. 217). 

Já o Prefácio deve informar quem encomendou a avaliação e as razões principais, 
quais as questões avaliativas e quais os interessados ou públicos que aguardam os resul- 
tados da avaliação e/ou deles necessitam. Caso o relatório da avaliação não contenha 
esses dois componentes, as informações devem ser buscadas no texto existente. 

A Metodologia apresenta os procedimentos utilizados, o que inclui o desenho e a 
abordagem adotados pela avaliação, entre outros procedimentos. Busca-se saber, neste 
aspecto, o que é necessário para desenvolver as etapas metodológicas da avaliação e como 
foram desenvolvidas. Ou o que era necessário e não foi incorporado ao processo avaliativo. 
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No segundo componente ou nível, os Fundamentos da avaliação englobam a 
razão de existência do objeto, seja ele um projeto, programa, material, serviço pres- 
tado, entre outros. Também se ocupam da descrição desse objeto, da indicação dos 
principais interessados, dos recursos disponíveis para manter o objeto e ajudá-lo a 
ser eficaz em seus propósitos, e dos valores adotados pelo avaliador. Entre esses 
últimos, encontram-se valores definidos em relação ao padrão adotado pela avalia- 
ção, valores relativos a requisitos legais, éticos, profissionais, valores culturais, his- 
tóricos, tradicionais, científicos, tecnológicos, políticos, económicos, o que não es- 
gota a lista de possibilidades (SCRIVEN, 2007). Na realização de uma meta-avaliação 
serão aplicados os aspetos que forem pertinentes. 

No terceiro nível, estão o que o autor denominou de Subavaliações, pois 
dirigidas ao processo e aos resultados ou impactos da avaliação, aos custos que 
são considerados pelo autor como elemento-chave na determinação de valor, 
às comparações entre um programa e outro mais efetivo e, ainda, à capacidade 
de os componentes da avaliação terem valia para uma futura utilização em 
outro local. A relevância geral da avaliação também faz parte desse nível, inclu- 
indo o que está indo bem, o que está faltando, qual o melhor uso dos recursos, 
respeitando-se a relação custo-efetividade. 

Finalmente, no quarto nível, das Conclusões, há dois pontos opcionais, relativos 
a recomendações e explanações, e a responsabilidades sobre os resultados e possí- 
veis justificativas. Nem sempre uma avaliação contém informações desse tipo. 0 
ponto referente a relatórios e o tipo de apoio dado à divulgação dos resultados 
aborda os formatos e os destinatários dos relatórios. 0 último ponto trata da pró- 
pria meta-avaliação, zelando para que todos os aspetos tenham sido cobertos e 
tragam respostas a respeito de pontos fortes e fracos da avaliação, assim como 
conclusões sobre as categorias essenciais de padrões de avaliação, a saber: utilidade, 
viabilidade, adequação e precisão. 

Um estudo mais minucioso da Lista Chave de Verificação de Avaliação pode ser reali- 
zado a partir da sua versão integral, fornecida para uso dos interessados (SCRIVEN, 2007). 

Critérios fundamentais 

Em um capítulo dedicado à avaliação de avaliações, Davidson (2005) apresenta 
cinco critérios fundamentais para orientar a meta-avaliação, buscando seu mérito 
ou qualidade intrínseca. São eles a validade, a utilidade, a conduta, a credibilidade e 
os custos. A autora define claramente tais critérios: 

Avaliações devem produzir conclusões válidas e justificáveis; ser 
úteis ao cliente e a outros públicos relevantes; ser conduzidas de 
uma maneira ética, legal, profissional e apropriada; ser digna de 
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crédito para os públicos relevantes; e ser tão económica, rápida e 
não obtrusiva quanto possível (DAVIDSON, 2005, p. 205). 

Conhecer cada um deles irá auxiliar a sua futura aplicação em meta-avaliações. 

Validade 

A validade da avaliação diz respeito à relação entre as conclusões apresentadas 
pelo avaliador e sua justificativa. 0 avaliador, para chegar às conclusões, utiliza 
tanto os fatos e dados coletados, como atribui valores ao julgar, por exemplo, a 
relevância desses dados. São os valores que determinam os critérios adotados pelo 
avaliador. É necessário, portanto, na meta-avaliação, verificar as fontes de dados 
que o avaliador utilizou e as associações feitas entre fatos e valores de modo a 
constatar o quanto as conclusões se justificam. 

Buscando a validade da avaliação, a meta-avaliação deve questionar o que foi 
feito, enfatiza Davidson (2005, p. 206): "0 avaliador fez inicialmente as questões 
corretas? 0 avaliador dimensionou a avaliação apropriadamente? 0 que foi deixado 
de fora que deveria ter sido incluído e vice versa?" 

Como, às vezes, os avaliadores lidam com limitações de tempo, de orçamento e 
até mesmo de pessoal, a meta-avaliação deve considerar tais restrições, pois elas 
podem atingir a validade das conclusões. Cabe verificar se as limitações realmente 
impediram o avaliador de concluir o estudo apropriadamente e se ele as apontou no 
relatório final, de modo que o leitor possa entender essa relação. 

Davidson (2005) considera a Lista Chave de Verificação da Avaliação elaborada e 
modificada por Scriven como um quadro de referência para orientar avaliadores em sua 
lida profissional e um dos instrumentos mais úteis para julgara validade de uma avalia- 
ção. Enfatiza, também, que os padrões de avaliação (J0INT COMMITTEE..., 1994) perti- 
nentes ao objeto avaliado, são de grande utilidade em meta-avaliações, quando da veri- 
ficação da validade da avaliação. 0 uso de ambos, Lista Chave de Verificação e Padrões 
de Avaliação, também é proveitoso em meta-avaliações. Assim, a autora sugere o em- 
prego dos seguintes elementos presentes nas duas fontes de referência como critérios 
para a meta-avaliação da validade de uma avaliação (DAVIDSON, 2005, p. 208-209): 

Cobre todas as fontes relevantes de valor (ex.: necessidades, 
padrões relevantes, definições de senso comum sobre valor). 
Cobre compreensivamente processo, resultado e custo. 
Não inclui critérios irrelevantes ou ilícitos. 
Inclui análises qualitativas e quantitativas que são apropri- 
adas aos dados coletados. 

Estabelece claramente como os dados são interpretados. 
Explicita com clareza a procedência das conclusões avalia- 
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tivas (nada de saltos lógicos ou "fumaça no espelho"). 
Inclui recomendações válidas (se existirem, ou seja, há base 
suficiente para propô-las e permite reconhecer que elas 
vão funcionar se forem implementadas). 

Utilidade 

Uma avaliação precisa ser útil para aqueles que a encomendaram e que nela têm 
interesse. Assim, a utilidade de uma avaliação é determinada pela necessidade que 
determinado grupo de interessados possui em relação a seus resultados. Dessa for- 
ma, tanto a avaliação quanto seus resultados precisam ser: 

relevantes para as questões ou decisões dos interessados; 
pontuais, de modo que os resultados estejam disponíveis 
quando as pessoas interessados necessitarem tomar deci- 
sões, e comunicados claramente em linguagem, mídia e ca- 
nais de comunicação apropriados (DAVIDSON, 2005, p. 209). 

As avaliações participativas ou que adotam a abordagem de empoderamento (em- 
powerment) trabalham habilidades de avaliador junto aos avaliados quando compar- 
tilham atividades avaliativas e instâncias de decisão com os participantes envolvidos. 
Nesses casos, a utilidade da avaliação aumenta. A capacidade de aprender a avaliar, 
que foi praticada durante o processo avaliativo, se torna, ela própria, um resultado da 
avaliação de extrema utilidade para os participantes. É importante enfatizar que a 
meta-avaliação deve verificar em que medida os resultados da avaliação estão sendo 
utilizados. Tal procedimento se torna um forte indicador do alcance do critério de 
utilidade. Quanto mais os resultados forem usados pelos participantes ou pelos inte- 
ressados na avaliação, mais forte se torna o atendimento ao critério de utilidade. 

Conduta 

Conduta é um critério mais aplicável ao processo da avaliação do que ao relató- 
rio completo e acabado. É durante o desenvolvimento do processo avaliativo que o 
meta-avaliador pode observar se padrões legais, éticos e profissionais, de adequa- 
ção cultural e de não impedimento do próprio processo da avaliação foram respei- 
tados pelo avaliador. 

Os padrões legais são aqueles relacionados à legislação local, nacional e até in- 
ternacional, dependendo do objeto avaliado. Os padrões éticos preconizam não 
colocar os participantes em perigo, obter seu consentimento para participar da 
avaliação e proteger a confidencialidade dos dados e das informações obtidos. Pa- 
drões profissionais, dirigidos aos avaliadores como o que se espera de seu desempe- 
nho profissional, podem ser encontrados na publicação denominada Princípios Ori- 
entadores para Avaliadores, da American Evaluation Association (Associação Ame- 
ricana de Avaliação), apresentada em português na obra de Worthen, Sanders e 
Fitzpatrick (2004). Já os padrões culturais dizem respeito a determinadas culturas 
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ou grupos étnicos e adquirem nuances particulares em cada local. São padrões que 
tratam do respeito devido a todo e qualquer grupo humano, independente de sua 
origem. 0 envolvimento dos participantes ou avaliados constitui um aspecto im- 
portante no contexto cultural da avaliação e, por conseguinte, da meta-avaliação. 

Os padrões ligados ao não impedimento de etapas do desenvolvimento da ava- 
liação, ou das atividades dos participantes e mesmo dos avaliadores, verificam o 
fluxo das atividades avaliativas e sua adequação, sem interrupções desnecessárias. 

Credibilidade 

A obtenção de credibilidade para uma avaliação está diretamente relacionada à 
aceitação, por parte dos interessados, dos resultados e suas fontes, isto é, em que 
medida merecem crédito. De acordo com Davidson (2005, p. 211), os elementos 
fundamentais de credibilidade de uma avaliação são: "a) familiaridade com o con- 
texto; b) independência, imparcialidade, e/ou falta de conflito de interesse; e c) 
experf/se (especialidade) em avaliação e na matéria sob investigação." 

Para o avaliador ter familiaridade com o contexto será preciso conhecer bem o 
projeto, ou o programa que está sendo avaliado, em sua estrutura, organização, 
normas, ou ainda conhecer o grupo onde o objeto avaliado se insere ou serve. Essa 
familiaridade permitirá uma apresentação de resultados mais realista e mais próxi- 
ma do entendimento dos interessados, pois o avaliador relatará algo do qual conhe- 
ce os antecedentes e o entorno. 

Independência e imparcialidade são fatoresquese tornam mais presentes quan- 
do a avaliação é divulgada para públicos externos ou para grupos de interesse 
(stakeholders). São importantes no trato de conflito de interesses que poderiam 
prejudicar a credibilidade da avaliação. 0 avaliador não deve ter preferências por 
qualquer grupo de stakeholders, nem apresentar julgamentos tendenciosos. Tais 
posturas fazem parte de sua atuação como profissional. 

Possuir domínio de suas atividades profissionais de avaliador e ainda conhecer o 
objeto sob avaliação também fazem parte do critério de credibilidade. A importân- 
cia desse domínio pode variar de uma avaliação para outra. Muitas vezes, acredita- 
se que um grupo de especialistas de conteúdos pode conduzir adequadamente a 
meta-avaliação porque possui o conhecimento substantivo, mas nem sempre isso 
acontece. Assim, a presença do avaliador ou de sua equipe, com domínio da compe- 
tência técnica, é necessária para garantir a credibilidade da meta-avaliação. 

Custos 

Uma avaliação sempre inclui diferentes tipos de custo. No caso de avaliações en- 
comendadas, a prestação de contas, a relevância das despesas, o pagamento dos ava- 
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liadores e de outros itens fazem parte de uma equação em que se deseja saber se os 
resultados valem o que custaram. É uma relação custo-benefício que se procura e 
deve ser equilibrada. Esse é um ponto a ser visto também na meta-avaliação. A litera- 
tura específica mostra como calcular a efetividade dos custos de uma avaliação. 

Padrões de Avaliação 

Os Padrões de Avaliação representam um esforço conjunto e prolongado de 
várias organizações e associações norte-americanas e canadenses, ligadas à educa- 
ção e à avaliação. A finalidade desse empreendimento foi produzir, em uma lingua- 
gem clara e de fácil apreensão, diretrizes que pudessem tanto servir de orientação 
para a elaboração de projetos avaliativos de programas ou de outros objetos de 
avaliação, quanto para a execução deles próprios, e até para a meta-avaliação que se 
volta para o julgamento de avaliações realizadas. 

A criação 

Data de 1981 a publicação da primeira edição intitulada Standards for evaluati- 
ons of educational programs, projects, and materiais (Padrões para avaliações de 
programas, projetos e materiais educacionais), de autoria do Joint Committee on 
Standards for Educational Evaluation (1981). Após uma década de uso e de aceitação 
internacional dos padrões, o Joint Committee ampliou o escopo dos padrões, voltan- 
do-se para a avaliação de programas em diversas áreas e procedeu a ajustes e acrés- 
cimos necessários a essa finalidade. Em 1994, a segunda edição foi publicada com o 
título de The program evaluation standards (Padrões de avaliação de programas). 

No processo de elaboração e revisão das duas edições dos Padrões, foram mobi- 
lizadas 1 5 organizações e associações patrocinadoras, contando com a colaboração 
de sete membros da equipe do projeto, painéis de validação envolvendo um presi- 
dente, cinco membros, 58 redatores, 19 consultores, 116 membros dos Painéis 
Nacionais de Revisão, 14 do Painel Internacional de Revisão, 61 participantes nos 
testes de campo e 1 00 participantes das Audiências Nacionais. 

Em 2004, 10 anos após a publicação da 2 a edição dos Padrões, foi iniciado o 
processo de desenvolvimento para a publicação da 3 a edição. Esse processo foi seme- 
lhante ao anterior. A partir de um survey nacional dos membros do Joint Committee, 

0 processo envolveu os comentários e sugestões de mais de 300 stakeholders, a 
seleção de uma equipe destes para investigar formatos compatíveis para as descrições 
dos padrões, apresentações diversas e revisões dos padrões por uma força tarefa 
composta por quatro membros 1 , mais de 75 revisores nacionais e internacionais, seis 
audiências nacionais, testes de campo realizados por 50 usuários, validação por um 

1 Donald B. Yarbrough, Lyn M. Shulha, Rodney K. Hopson, Flora A. Caruthers são os membros do Joint 
Committee on Standards for Educational Evaluation, responsáveis pela 3" edição de The 
Program Evaluation Standards: a guide for evaluators and evaluation users (2011). 
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painel em 2008, revisão geral pelo Joint Committee em 2009, sendo então considera- 
dos prontos para a certificação final como padrões de avaliação de programa conce- 
dida pelo American National Standards Institute (Instituto Americano de Padrões 
Nacionais). Em 201 1 , o Joint Committee é apoiado por 1 7 organizações. 

Os Padrões e suas características 

De acordo com o Joint Committee (201 1 , p. xxii), os Padrões de Avalia- 
ção "identificam e definem qualidade da avaliação e guiam os avaliadores e 
usuários a perseguir essa qualidade". No entanto, não significam leis, pois 
são produto de extenso trabalho de discussão, revisão e consenso entre os 
membros do Joint Committee. Os padrões requerem responsabilidade e jul- 
gamento em cada avaliação, "fornecem uma heurística para ser usada na 
definição e atendimento de problemas novos que o contexto da avaliação 
apresenta" (JOINT COMMITTEE..., 2011, p. xxii). 

Os padrões de avaliação de programas traduzem os atributos considerados essen- 
ciais a uma avaliação de qualidade: utilidade, exequibilidade, adequação, precisão e 
responsabilização 2 . Em um total de 30, são organizados nessas cinco categorias con- 
forme a pertinência mais evidente. A publicação apresenta, entre outros conteúdos, o 
título e a descrição de cada padrão, seu fundamento e clarificação, considerações 
específicas que orientam sua aplicação ou sua verificação, perigos que podem ocorrer 
e levar ao não atendimento do padrão quando a aplicação é realizada. Isso pode ser 
evitado na prática se, em tese, os perigos forem antecipados pelo avaliador. 

Os padrões de utilidade, em número de oito, transparecem a preocupação com as 
necessidades de informação dos usuários, interessados na avaliação. É preciso que os 
resultados sejam úteis a quem encomendou a avaliação. Caso contrário, a avaliação 
não se justifica, pois não serviu ao cliente ou aos interessados. De acordo com esses 
padrões, a avaliação deve ser conduzida por um avaliador ou equipe competente e isto 
deve servir como garantia de sua credibilidade; dar atenção a todos os interessados 
(stakeholders) na avaliação em foco; negociar os propósitos da avaliação e selecionar 
informação relevante de modo a atender às necessidades desses interessados; indicar 
os valores que embasam os propósitos, processos e a interpretação dos resultados; 
apresentar comunicações e relatórios que descrevam claramente o que foi realizado e 
que sejam entregues nos prazos estabelecidos; considerar as possíveis consequências 
e influência que os resultados da avaliação podem vir a ter. 

Os quatro padrões de exequibilidade se relacionam com "efeitos de contextos, 
culturas, custos, política, poder e recursos disponíveis" (JOINT COMMITTEE..., 201 1, 
p. xxviii). São voltados para procedimentos que assegurem que a avaliação será 
gerenciada de modo efetivo, será prática e realística, será cuidadosa ao tratar do 

2 O termo accountability foi aqui traduzido como responsabilização. 
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contexto e seus interesses políticos e culturais, será tanto efetiva quanto eficiente 
ao utilizar os recursos. Esses padrões lidam com a dimensão política da avaliação, 
a praticidade dos procedimentos e os custos. 

Os padrões de adequação, em número de sete, pretendem assegurar que a avaliação 
será desenvolvida respeitando aspetos morais, éticos e legais concernentes à qualidade da 
avaliação. Esses padrões são relativos ao bem estar das pessoas envolvidas na avaliação ou 
que possam ser afetadas por seus resultados. Lidam com acordos e contratos entre clien- 
tes e avaliadores; tratam do respeito aos direitos dos participantes e a suas interações 
durante a avaliação, assim como cuidam de possíveis conflitos de interesses; focalizam o 
julgamento equilibrado de pontos fortes e fracos do objeto avaliado; tornam os resultados 
acessíveis aos interessados, apresentando um balanço contábil dos gastos com a avaliação. 

Os padrões de precisão buscam garantir que a informação técnica da avaliação referente 
às características que determinam o valor ou mérito do programa sob avaliação será adequa- 
da e confiável. São oito padrões que abordam a descrição do programa e do contexto; 
tratam de características de validade, fidedignidade e gerenciamento da informação; focali- 
zam a análise dessa informação, a justificativa das conclusões e decisões, assim como a 
abrangência e a imparcialidade dos comunicados divulgados e dos relatórios elaborados. 

Os três padrões da nova categoria, responsabilização da avaliação, encontram apoio 
nos padrões anteriores, de utilidade, exequibilidade, adequação e precisão. Tratam da do- 
cumentação da avaliação como comprovação de cada etapa realizada, da meta-avaliação 
tanto interna — como forma de investigar e prestar contas do desenvolvimento durante o 
processo de realização, quanto externa — como atestado de qualidade da avaliação por 
outros avaliadores. Estão diretamente relacionados à meta-avaliação e, por concepção, 
utilizam todos os 27 padrões, desde que pertinentes ao que estiver sendo julgado. 

Assim, conforme a natureza da avaliação ou da meta-avaliação, a aplicação dos 
padrões será variada. Dependendo do objeto em foco, alguns padrões podem não 
ser adequados ao julgamento do programa, projeto, objeto ou evento. 

Passos para aplicação dos Padrões 

Na 2 a edição dos padrões de avaliação, oJoint Committee (1994) sugeriu alguns 
passos para auxiliar o processo de utilização dos padrões que podem ser úteis a 
quem se dedicar a tal tarefa. 

1 o ) Conhecer o conteúdo dos padrões 

No sentido de efetuar uma boa utilização dos padrões, o Joint Committee (1994) 
sinaliza que o avaliador deve se tornar familiarizado com o conteúdo dos padrões de 
avaliação. 0 conhecimento conceituai e prático é o passo inicial para quem vai aplicá- 
los. Uma sugestão para consolidar ou ampliar esse conhecimento é aplicar os padrões 
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a uma avaliação e pedir a opinião de especialistas; outra é discutir a aplicação com 
colegas e stakeholders. Nessa capacitação em grupo, o avaliador pode concentrar-se 
em uma categoria de padrões, antes de focalizar as demais. Tais experiências tornarão 
a aprendizagem mais valiosa, afirma o Joint Committee (1 994). Sem dúvida, a frequ- 
ência da utilização tornará os padrões mais conhecidos e ajudará a sua aplicação. 

2 o ) Tornar claro os propósitos da avaliação 

Para o avaliador ou meta-avaliador, as razões para avaliar um dado programa 
precisam ser claramente enunciadas de modo a permitir o alcance dos propósitos. 
Assim, são muitas as decisões a serem tomadas pelo avaliador ou meta-avaliador de 
um programa. De acordo com o próprio Joint Committee (1994, p. 10-11), algu- 
mas questões precisam ser levantadas por ambos: 

Quais são as necessidades prioritárias dos participantes do 
programa? Quais são as melhores abordagens para atender 
essas necessidades? Quais são os componentes do progra- 
ma que devem ser mantidos ou modificados? 
Todos os participantes devem receber o mesmo programa? 
Quais as atividades de acompanhamento (follow-up) que 
devem ser implementadas para o programa? 
0 programa deve ser divulgado? 

3 o ) Tornar claro o contexto da avaliação 

Ao elaborar o planejamento da avaliação, o Joint Committee (1994, p. 1 1) reco- 
menda que o avaliador faça as seguintes questões que irão ajudar a revelar elemen- 
tos contextuais do objeto (projeto, programa, material, outros) sob avaliação: 

Quem deseja a avaliação? Por quê? 

0 que vai fazer com os resultados? 

Para quando necessitam dos resultados? 

Qual o orçamento da avaliação? 

Qual é o programa (objeto) a ser avaliado? 

Quais os recursos adicionais disponíveis? 

Quais são as questões politicas potenciais? 

4 o ) Aplicar cada Padrão considerando os propósitos e o contexto da avaliação 
0 avaliador pode então aplicar cada padrão orientando o plano da avaliação, ou 
seu desenvolvimento, ou a apreciação de sua consecução, por intermédio do relató- 
rio. A aplicação dependerá da finalidade, avaliação ou meta-avaliação. 

A publicação do Joint Committee (201 1) fornece uma Tabela Funcional de 
Conteúdos que tem por finalidade ajudar na escolha dos padrões mais pertinen- 
tes ou importantes para cada componente ou atividade da avaliação. Essa Tabe- 
la foi reorganizada no Quadro 1. 
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Quadro 1 - Distribuição dos padrões de avaliação por atividade. 



Padrão de Avaliação 


Atividade 


1 


2 


3 


4 


5 


6 


7 


8 


9 


10 


U1 


Credibilidade do Avaliador 


X 


X 


X 








X 








U2 


Atenção aos Interessados (Stakeholders) 


X 


X 


X 


X 


X 


X 


X 


X 




X 


U3 


Propósitos Negociados 


X 






X 




X 










U4 


Explicitação de Valores 






X 


X 




X 






X 




U5 


Informação Relevante 








X 








X 


X 


X 


U6 


Processos e Produtos Significativos 




X 




X 




X 


X 


X 


X 




U7 


Comunicação e Relatórios Apropriados e no Prazo 




X 










X 


X 


X 


X 


U8 


Preocupação com Consequências e Influência 
















X 




X 


E1 


Gerenciamento do Projeto 




X 


X 








X 


X 


X 




E2 


Procedimentos Práticos 


X 






X 


X 


X 


X 


X 


X 


X 


E3 


Viabilidade do Contexto 


X 




X 


X 


X 


X 


X 


X 


X 


X 


E4 


Uso dos Recursos 




X 


X 






X 


X 


X 






A1 


Orientação Responsiva e Inclusiva 








X 


X 


X 






X 


X 


A2 


Acordos Formais 


X 


X 


X 






X 










A3 


Direitos e Respeito Humanos 


X 






X 




X 




X 




X 


A4 


Clareza e Equidade (Justiça) 


X 


X 




X 






X 




X 




A5 


Transparência e Abertura 








X 


X 




X 


X 


X 


X 


A6 


Conflitos de Interesses 


X 


X 


X 


X 


X 




X 


X 




X 


A7 


Responsabilidade Fiscal 




X 










X 


X 






P1 


Conclusões e Decisões Justificadas 








X 




X 


X 




X 


X 


P2 


Informação Válida 








X 


X 


X 




X 


X 




P3 


Informação Fidedigna 










X 


X 




X 


X 




P4 


Explicitação das Descrições do Propósito e Contexto 


X 






X 


X 


X 










P5 


Gerenciamento da Informação 












X 




X 


X 




P6 


Análises e Planos Sólidos 












X 


X 




X 




P7 


Explicitação do Raciocínio da Avaliação 








X 


X 


X 






X 


X 


P8 


Comunicação e Relatório 










X 








X 


X 


R1 


Documentação da Avaliação 


X 


X 


X 


X 


X 


X 


X 


X 






R2 


Meta-avaliação Interna 
















X 






R3 


Meta-avaliação Externa 




X 



















Fonte: Adaptada de Joint Committee (201 1). 
Legenda: 

1. Decidir se vai avaliar 

2. Negociar e formalizar acordos, contratos e orçamentos 

3. Determinar quem vai avaliar 

4. Negociar e desenvolver propósitos e questões da avaliação 
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5. Descrever o Programa 

6. Planejara avaliação 

7. Gerenciar a avaliação 

8. Coletar informação 

9. Analisar informação 

10. Comunicar e relatar a avaliação 

0 Quadro 1 apresenta os 30 padrões, listados em suas respectivas categorias 
(utilidade, exequibilidade, adequação, precisão e responsabilização), assinalados de 
acordo com a pertinência às atividadesda avaliação constantes das colunas seguin- 
tes que são indicadas na legenda. 

No caso da meta-avaliação somativa que focaliza a avaliação já concluída e seu 
relatório, "o avaliador desejará saber o que foi feito na avaliação, o que não foi, como 
também o impacto da avaliação" (JOINT COMMITTEE..., 1994, p. 11). Para tanto, o 
meta-avaliador poderá precisar julgar toda a avaliação realizada e buscar outras in- 
formações, suplementares, com os participantes. A aplicação dos padrões vai julgar a 
avaliação do programa e o meta-avaliador fará perguntas como: o programa "merece 
crédito? Pode ser usado como está? Precisa de mais informação antes que a avaliação 
possa ser julgada com justiça?" (JOINT COMMITTEE..., 1994, p.12). 

Uma lista de verificação para aplicação dos padrões fornecida pelo Joint Com- 
mittee (1994) pode facilitar a tarefa de julgar a qualidade da avaliação. Essa lista 
traz os padrões, distribuídos em suas categorias, e oferece uma escala de pode ser 
reproduzida. A escala inclui quatro pontos para julgar o nível de atendimento do 
objeto avaliado em relação a cada padrão: a) atendido; b) parcialmente atendido; c) 
não atendido; e d) não se aplica. 

0 meta-avaliador deverá assinalar seu julgamento relativo a cada padrão, na 
lista de verificação, após analisar o conteúdo do relatório de avaliação. Se vários 
avaliadoresjulgarem um mesmo relatório, os resultados assinalados devem ser con- 
frontados e as discrepâncias devem ser discutidas para se chegar a um consenso. 

5 o ) Decidir o que fazer com os resultados 

Conforme expressa o Joint Committee (1994), na etapa final da aplicação dos 
padrões, cabe discutir os resultados obtidos com a equipe do programa, com o 
avaliador e ainda outros interessados. Nesse momento, espera-se que os pontos 
críticos da avaliação sejam identificados e que algumas recomendações importantes 
para a melhoria da avaliação possam ser feitas. Se for necessário, é interessante que 
se pense em formular planos de coleta de informação suplementar ou que se discu- 
tam maneiras de aumentar a capacidade avaliativa da organização ou da equipe, 
como uma forma de empoderamento (empowerment) desse pessoal, em avaliação. 
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Abordagem da segunda opinião 

A Abordagem da Segunda Opinião funciona da mesma forma como em casos de 
dúvidas sobre um diagnóstico feito, quando o paciente solicita a opinião a um 
segundo profissional médico. No caso da meta-avaliação, uma nova equipe realiza 
outra avaliação do mesmo objeto, utilizando os mesmos procedimentos e instru- 
mentos, o mesmo caminho metodológico. No final, o segundo relatório é compara- 
do com o primeiro, com a finalidade de verificar se as conclusões são semelhantes 
àquelas que a primeira avaliação apresentou. Se houver discrepâncias, então, o meta- 
avaliador, o avaliador e suas respectivas equipes precisam verificá-las para se chegar 
a um retrato fiel do que foi avaliado. 

Abordagem híbrida 

Nessa abordagem, híbrida ou eclética, que conjuga dois procedimentos, o meta- 
avaliador faz o julgamento da avaliação como ela é, da maneira como foi realizada 
e apresentada, acrescentando uma verificação cruzada de aspetos que podem ser 
questionados quando a avaliação for divulgada. Isso ocorre quase sempre quando 
os stakeholders não concordam com alguns dos resultados encontrados. É uma 
maneira sistematizada de verificar a qualidade da avaliação e de clarificar pontos de 
discordância nos resultados ou em sua interpretação. 

Abordagem formativa 

A meta-avaliação formativa visa à melhoria de uma avaliação que está sendo 
desenvolvida, ou seja, que se encontra em progresso. É Davidson (2005) quem suge- 
re algumas maneiras de conduzir meta-avaliação formativa. 

A equipe de avaliação contrata como consultor um especialista em medidas ou 
em conteúdo, que aprecia e comenta o plano da avaliação, dando ajuda para resol- 
ver algum problema. A equipe pode ainda utilizar um painel orientador composto 
por avaliadores especialistas, membros da organização onde ocorre a avaliação e 
especialistas em conteúdo. Além de trazer contribuições enriquecedoras à avalia- 
ção, o emprego de um painel que inclui os membros da organização aumenta o 
envolvimento desses indivíduos e a posterior aceitação dos resultados da avaliação. 

Outra possibilidade de realizar a meta-avaliação formativa é contar com obser- 
vadores independentes atuando como meta-avaliadores. Esses observadores têm a 
tarefa de revisar os rascunhos dos relatórios parciais referentes à avaliação em 
andamento, antes de serem entregues ao cliente. Tal procedimento daria oportuni- 
dade de cobrir pontos julgados deficientes, de melhorar a coleta dos dados, entre 
outros aspetos. A revisão de relatórios parciais pode incluir stakeholders buscando 
atender-lhes as necessidades, que assim que serão contempladas no relatório final. 
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Exemplos de meta-avaliações 

Como anunciado na introdução deste artigo, alguns exemplos de meta-avalia- 
ções realizadas no país serão aqui comentados como forma de trazer, ao leitor, 
ilustrações sobre o processo de avaliar uma avaliação. Os contextos de aplicação são 
variados, como também a forma de desenvolvimento. 

Berliner (2010) focalizou, em sua dissertação de Mestrado em Avaliação, a 
avaliação do processo avaliativo para levantamento do Indicador Nacional de 
Alfabetismo Funcional (Inaf), criado pelo Instituto Paulo Montenegro, uma 
organização do Instituto Brasileiro de Opinião Pública (Ibope). Desenvolveu, 
portanto, uma meta-avaliação. 

0 indicador, através de questionários e testes, que retra- 
tam situações enfrentadas no eotidiano, avalia as habili- 
dades e competências para interpretar e solucionar pro- 
blemas de letramento e numeramento em amostra da 
população das zonas rural e urbana, na faixa etária de 15 
a 64 anos (BERLINER, 2010, p. 7). 

A autora adotou, inicialmente, o V epistemológico de Gowin para embasar a 
modelagem do processo de análise do Inaf, tomando as duas questões avaliativas do 
estudo como ponto de partida: 

1) Em que medida o instrumento utilizado pelo IBOPE para 
determinação do Indicador de Alfabetismo Funcional é 
adequado para avaliar se os entrevistados sabem ler e es- 
crever? 

2) Até que ponto o INAF abrange as principais capacida- 
des/ habilidades necessárias para determinar o alfabetismo 
funcional? (BERLINER, 2010, p. 44). 

0 V de Gowin consiste em "uma ferramenta capaz de esclarecer a complexidade do 
assunto abordado e simplificar o processo de construção do conhecimento" (BERLINER, 
201 0, p. 41), o que proporcionou "uma análise meta-cognitiva da apuração do indicador 
de alfabetismo" (BERLINER; ELLIOT, 2010, p. 1). Em prosseguimento, a avaliação do 
processo de levantamento do Inaf foi desenvolvida com base nas categorias e padrões 
de avaliação formulados pelo Joint Committee on Standards for Educational Evaluati- 
on (1 994). A autora selecionou, então, os padrões pertinentes ao objeto em avaliação, no 
caso o processo de apuração do Inaf, buscando níveis de atendimento, dentro de cada 
categoria. Esse é um exemplo de meta-avaliação somativa. 

Figueiró, Thuler e Dias (2008) se propuseram a meta-avaliar os Estudos de 
Linha de Base (ELB) gerados pelo Projeto de Expansão e Consolidação da Saú- 
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de da Família (Proesf), financiado com recursos do Ministério da Saúde. As 
questões avaliativas formuladas orientaram a meta-avaliação: "Em que medi- 
da os ELB atenderam aos padrões de coerência teórica e prática para avaliação 
das avaliações - meta-avaliação? E como essas medidas variaram na depen- 
dência das diferentes inserções dos meta-avaliadores? (FIGUEIRÓ; THULER; 
DIAS, 2008, p. 49). 

Os autores se valeram dos padrões de avaliação do Joint Committee (1 994) 
e acrescentaram a categoria "especificidade do Termo de Referência (TOR)", 
composta por três padrões, a saber: "coerência com o modelo teórico, análise 
multidimensional e análise relacional dos resultados" (FIGUEIRÓ; THULER; DIAS, 
2008, p. 50). A meta-avaliação abrangeu a escolha de profissionais para inte- 
grar a equipe de meta-avaliadores, a seleção e teste dos instrumentos apro- 
priados, a seleção de uma amostra de relatórios dos Estudos de Linha de Base, 
a revisão e consequente classificação desses relatórios como resultado da meta- 
avaliação. A diversidade da natureza dos contextos onde o Proesf se desenvol- 
veu, além das várias metodologias avaliativas utilizadas e a falta de padroniza- 
ção dos relatórios, aliada à falta de prática em meta-avaliar foram identifica- 
das como limitações do estudo. 

Gadelha (2010) tratou dos requisitos necessários para a avaliação de Centros 
de Referência de Assistência Social (Cras), em sua dissertação de Mestrado em 
Gestão do Conhecimento e Tecnologia da Informação. O estudo abordou de 
que modo "ferramentas metodológicas de meta-avaliação podem contribuir na 
descoberta de novos requisitos de software que apoiem o processo avaliativo" 
(GADELHA, 2010, p. 15). Dessa forma, o autor aplicou apenas três padrões de 
avaliação selecionados da publicação de 1994 do Joint Committee: avaliação 
completa e justa, informações sistemáticas e conclusões justificadas. Tal escolha 
foi devido ao fato de esses padrões estarem associados à descoberta dos novos 
requisitos buscados. A meta-avaliação se baseou nas recomendações e nos 
erros comuns praticados quando não se utiliza cada padrão como diretriz, numa 
avaliação. O autor elaborou um quadro para cada padrão com as recomenda- 
ções e os erros comuns, objetivando favorecer o registro dos aspetos atendidos, 
ou não, na avaliação. Os insumos utilizados na meta-avaliação foram o relatório 
existente, o software Gerente do CRAS 2008, entrevistas semiestruturadas com 
um especialista de negócios e um de Tecnologias da Informação. A partir da 
meta-avaliação somativa dos Centros de Referência, que são unidades de polí- 
tica pública de assistência social, o estudo pretendeu trazer insumos para o 
aperfeiçoamento da tecnologia utilizada nesses centros. 

Com caráter somativo, a meta-avaliação foi também utilizada no campo das 
auditorias por Hedler e Torres (2009). Após apresentar a concepção de um 
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modelo de meta-avaliação, o objetivo do estudo foi aplicar esse modelo "à au- 
ditoria de natureza operacional (ANOP) do Tribunal de Contas da União, meta- 
avaliando seus critérios, padrões, validade e confiabilidade dos procedimentos e 
resultados das ANOPs" informam os autores (HEDLER; TORRES, 2009, p. 469). 
A meta-avaliação incidiu sobre 10 relatórios de auditorias. Os autores utiliza- 
ram 20, dos 30 padrões propostos pelo Joint Committee (1 994), adaptando-os 
ao conteúdo em foco, relatórios de auditorias. Atribuíram pontos aos padrões 
plenamente, parcialmente ou não atendidos, utilizando a metodologia sugerida 
pelo Joint Committee, e estabeleceram comparação com categorias de análise 
que refletem a teoria e o problema emergentes do conteúdo dos relatórios: 
características dos programas; enfoque da auditoria; contexto político; méto- 
dos e técnicas e dificuldades da auditoria. A junção desses elementos trouxe, ao 
estudo, contribuições metodológicas e de conteúdo. 

0 foco da avaliação de Pereira (2010) foi o edital de seleção de professores 
para o Colégio Pedro II, no Rio de Janeiro. Como a seleção consiste em um pro- 
cesso avaliativo e o referencial utilizado foram os padrões de avaliação do Joint 
Committee (1994), a autora conduziu assim uma meta-avaliação somativa a par- 
tir da análise dos editais e de informações dadas pelos responsáveis pela condução 
do processo seletivo, em confronto com 20, dos 30 padrões que compõem a obra 
do Joint Committee. Utilizou, para isso, as diretrizes adequadas para cada padrão 
selecionado, por sua pertinência com o objeto da avaliação. 

Serour (2010), em dissertação de Mestrado Profissional em Avaliação, de- 
senvolveu uma meta-avaliação somativa do relatório da Avaliação Institucio- 
nal Externa de uma universidade fluminense. A avaliação fora formalmente 
realizada por Comissão Externa designada pelo Instituto Nacional de Pesqui- 
sas Educacionais Anísio Teixeira (Inep), do Ministério da Educação. Na meta- 
avaliação, a autora utilizou na metodologia as categorias de eficácia, eficiên- 
cia, efetividade e relevância para verificar a validade e a confiabilidade dos 
procedimentos e resultados apresentados no relatório final. Baseou-se em 
Davok (2006), que propôs um modelo de meta-avaliação de processos de ava- 
liação da qualidade de cursos de graduação, aplicando-o a seguir. A partir 
dessa referência, os principais critérios para a meta-avaliação foram definidos 
e a autora estabeleceu, de forma apropriada, a relação entre eles e as ques- 
tões avaliativas de seu estudo, como se verifica no Quadro 2. 
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Quadro 2: Relação entre critérios, conceitos e questões avaliativas de meta-avaliação. 



Critérios 


Conceitos 


Questões avaliativas 


Eficácia 


"[...] é o critério institucional que 
revela a capacidade administrativa 
para alcançar as metas estabelecidas 
ou os resultados propostos" (DAVOK, 
2006, p. 46). 


- Até que ponto o Relatório de Avaliação 
Institucional Externa apresentou para a 
IES um quadro de eficácia, gerando 
informações de confiabilidade? 


Eficiência 


"[...] é o critério económico que 
revela a capacidade administrativa 
de produzir o máximo de resultados 
com o mínimo de recursos, energia 
e tempo" (DAVOK, 2006, p. 43). 


- Até que ponto o Relatório de Avaliação 
Institucional Externa apresentado a IES 
exibiu aspectos relativos à eficiência, 
otimizando a relação custo-benefício? 


Efetividade 


"[...] é o critério político que reflete 
a capacidade administrativa para 
satisfazer as demandas concretas 
feitas pela comunidade externa" 
(DAVOK, 2006, p. 47). 


- Até que ponto o Relatório, em foco, 
atendeu aos indicadores da categoria 
efetividade, oportunizando a utilização 
de suas informações na reorganização de 
objetivos, conforme previsto em lei? 


Relevância 


"[...] é o critério cultural que mede o 
desempenho administrativo em 
termos de importância, significação, 
pertinência e valor" (DAVOK, 2006, 
p. 50). 


- Até que ponto a Avaliação Institucional 
Externa pode ser considerada relevante? 



Fonte: Serour (2010). 



A meta-avaliação conduzida por Serour (2010), além do caráter somativo, se 
enquadra na abordagem da Segunda Opinião, apesar de ter também utilizado crité- 
rios adicionais aos empregados na avaliação original. 

Considerações finais 

Embora o presente artigo não tenha esgotado o tema tratado, nem esta era a 
sua pretensão, tornaram-se evidentes as vantagens da meta-avaliação. Em diversas 
instâncias, a necessidade de meta-avaliar uma avaliação, seu relatório ou o próprio 
processo avaliativo é a forma de atestar-lhes a qualidade ou de evidenciar pontos 
que ainda precisam ser burilados. 

Enquanto no exterior a meta-avaliação já dispõe de trajetória considerável e a 3 a 
edição dos padrões de avaliação tenha sido publicada após mais de seis anos de 
revisão e aperfeiçoamento, no Brasil os esforços se mostram recentes, não parece 
que existam muitos estudos divulgados empregando essa metodologia. Provavel- 
mente tal constatação se deva ao fato de a literatura sobre meta-avaliação ainda 
permanecer escassa para os interessados, ou esses não conseguirem compor um 
grupo coeso a ponto de fortalecer tal tipo de estudo. 
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Os exemplos brasileiros encontrados de meta-avaliação, na maior parte, são 
aplicações feitas por autores de teses de Doutorado e dissertações de Mestrado. 
Apesar da relevância, os estudos representam um exercício académico de boa 
qualidade, mas não se tornam retrato de uma prática difundida e consistente 
entre avaliadores profissionais. Na área da Saúde, destaca-se a proposta de Hartz, 
Felisberto e Silva (2008) de adaptação dos padrões de avaliação do Joint Committee 
para a área de projetos de Saúde, com consequente aplicação nos ELB. Trata-se de 
uma publicação específica voltada para a meta-avaliação, embora nem todos os 
artigos desta publicação relatem meta-avaliações realizadas. 

Nas aplicações brevemente aqui apresentadas, pode-se observar que a meta- 
avaliação ocorreu em diferentes campos do conhecimento e objetos, afirmando a 
multidisciplinaridade da metodologia, característica essencial da própria avaliação: 
processo avaliativo de levantamento do indicador de alfabetismo, estudos de linha 
de base em projetos de saúde, software empregado na área da saúde, auditorias, 
edital e processo seletivo de professores, instituição de ensino superior. Outros 
campos e focos são também passíveis de aplicação útil desta metodologia. Esta é 
uma área aberta e profícua para os avaliadores mobilizados pela qualidade de sua 
práxis, que deve ser foco de aperfeiçoamento constante, nas diversas áreas de atu- 
ação na sociedade. 

Reconhece-se que parte do desafio inerente às avaliações consiste em estabele- 
cer um equilíbrio entre avaliadores e avaliados, face aos resultados encontrados, 
principalmente em projetos das áreas Social, da Saúde e da Educação. A questão da 
responsabilização pela emissão dos resultados e a forma como foram gerados e 
coletados também se coloca nesse momento. Certamente, os esforços em torno da 
meta-avaliação trarão mais compreensão e segurança em relação ao processo ava- 
liativo e à responsabilidade de todos os envolvidos, aumentando assim as possibili- 
dades de utilização dos resultados. Eis delineado o ciclo desejável da avaliação/meta- 
avaliação, em busca da desejada qualidade de seu processo e seus resultados. 
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